Completed Pairs Hide Capped Failures: A ReVerPi Case Study of Selective Context Projection
已完成配对掩盖被截断失败：选择性上下文投影的 ReVerPi 案例研究
🧭 Agent 评估方法 · 上下文投影
Independent AI Researcher
揭示评估中因仅保留完成配对而掩盖资源受限失败，并给出双臂独立执行的评估方法论
📌 工作参考价值（4 点）
- A/B 评估必须双臂独立执行：在 Agent 或推荐策略对比中，不要因一个 arm 先失败/超时而抑制对照 arm；应保留所有干预边界，否则会系统性丢失高成本失败案例，歪曲结论。
- 报告完成率与资源消耗，而非只看成功样本：离线评测生成式推荐、query 改写或 RAG 时，同时记录 completion rate、交互轮数、logical tokens；仅比较完成样本会掩盖资源耗尽型失败。
- Context projection 是双刃剑：将旧 tool observation 压缩为可寻址摘要可减少 25% 聚合 logical tokens，但可能增加 29% 中位 tokens 与更多检索请求（35→55）；在构建 agent 记忆或对话压缩模块时，需以完整交互序列评估端到端收益。
- 分离 fitting 与 evaluation 以避免 selector 偏差：如果部分数据用于选择/调参，再在同一批数据上统计，会发现虚假 tie；业务中训练/验证/测试须严格隔离，否则资源与成功率结论不可靠。